MotionCoach: Constructing Multimodal Guidance for Video Professional Motion Editing
MotionCoach：构建多模态引导实现视频专业动作编辑
🧭 Agent 多模态引导视频编辑 ★ 深度解读
Peking University · Alibaba Token Hub, Alibaba Group · University of Science and Technology of China · Zhejiang University
训练多模态Agent自动搜索、验证并裁剪动作参考，输出grounded prompt与reference clip，显著提升冻结视频编辑模型的专业动作编辑能力。
📌 工作参考价值（4 点）
- 借鉴“冻结生成模型 + 轻量 Agent 策略”的分离架构：在商品视频生成、广告创意生成中，不重新训练底模，训练一个 VLM Agent 来构造可靠的参考素材和 grounded prompt（包含关键卖点、时间结构、负向约束），可低成本适配垂直类目。
- 借鉴 self-verification 与 tool use：类似 RAG 中的检索后验证，在电商视频编辑中 Agent 可以搜索候选商品素材、检查是否展示正确商品和动作，自验证后裁剪出最有用的片段，避免错误参考导致生成偏差；该逻辑可用于广告素材自动剪辑和生成。
- 借鉴 RL 奖励设计：用三个奖励（prompt 质量、下游生成结果、格式）训练 Agent，尤其以冻结编辑器实际生成的视频作为奖励信号；在推荐/搜索中，可训练 Agent 生成 query 解释或推荐理由，奖励包括文本质量和最终转化/点击模型评分，形成闭环。
- 数据流水线：teacher 模型生成轨迹 + VLM/程序化检查 + 人工抽检，快速构建 SFT/RL 数据，适合缺少标注的垂直领域。